查看原文
其他

数仓开发到底在开发什么?

小黄 大数据范式 2022-11-29


写在前面:


数据仓库是干什么的?我们先从全局视角☞大数据职业发展方向看一下,如图:


图片来源:大数据职业发展方向.xmind


数据仓库开发是开发什么呢?我先说3个

数仓开发平台开发报表开发...

仓库开发,被熟知的数仓分层模型
ODS层->明细层->聚合层->应用层
图片来源:数据仓库分层模型

分层模型,就好比学校的不同年级。当学生被送到学校之后,要经过低年级到高年级的学习,每个年级学习的内容和目标都不一样,而最终的目的就是让学生离开学校之后能做一个有用的人。同样的,数据进入到数仓之后,要经过不同层级的加工,每层都有各自的职责和目标,最终目的是让从数仓产出的数据能有效的为人所用。eg:数据仓库分层模型

Kimball Data Warehouse Architecture


不同的公司,对分层的代号不一样,层级也不一样。有的会在ODS层加一个数据缓冲层,用于解决数据漂移,有的会在轻度汇总层后面加一个宽表层,提供按各种维度汇总的各种指标。有的在明细层出宽表,提供各种维度的明细数据。数据中台与数据治理方案.PPT


仓库开发





平台开发






报表开发



图片来源:大数据可视化BI工具,通幽洞微




我期待的报表开发,DPM数据产品经理承担数仓开发的一部分沟通和协同工作。



写在最后


作为数据仓库的冰山一角,本篇简单介绍了下数仓的工作:仓库开发、平台开发和报表开发。将数仓与学校进行类比,也是希望能让工作更有趣一些。不足之处,请批评指正。文末戳“阅读原文”回复:数仓,可领取学习资料!
感兴趣实时数仓的:☞实时数仓建设思考与方案记录




推荐阅读:


从 0 到 1 搭建业务数据监控平台


数据治理平台系统 v2.0


流批一体Hudi近实时数仓实践




大数据开发一枚,欢迎大家关注呀!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存